GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity
GRPO、Dr. GRPO 与 DAPO 统一为组标准差操作
🧭 GRPO/Dr.GRPO/DAPO 统一于组标准差操作 ★ 深度解读
University of Illinois at Urbana-Champaign
三种 RLVR 训练技巧本质上是对同一量（组奖励标准差）的乘、除、过滤操作，且更新量正好等于该标准差
📌 工作参考价值（4 点）
- 在推荐系统的 RLVR 训练中，若奖励为二元（如点击/未点击），优势归一化（除以组标准差）会改变隐式优化目标：除以标准差趋向 arcsine 变换，抬高极端难度样本的权重；去掉则回到原始成功率目标。可根据业务目标选择是否保留该操作。
- 无声组（组内奖励全 0 或全 1）产生零梯度，可借鉴 DAPO 的动态采样：在组 batch 中丢弃 σ=0 的组，避免浪费计算。在广告/搜索的曝光日志中，可预先识别全正或全负的 batch 并跳过更新。
- 组大小法则 G ≳ 1/(8ε p(1-p)) 给出给定难度 p 下达到目标梯度保真度所需的样本数。在物品或广告推荐中，不同物品（如冷门物品）的点击率 p 差异大，可据此动态分配每个 prompt 的采样预算，代替固定 G。
- 可以直接用组标准差作为每步训练的诊断指标：实时监测 σ 的分布和无声组比例，识别模型在哪些难度区间无有效对比信号，从而调整采样策略或奖励设计。